這系列文中會希望能用Web相關技術做XR應用的小作品。在發想XR作品時也許因為久未接觸XR世界而一片空白;或也許有很多想法,靈感可能來自於科幻作品、概念產品或對未來的想像。以下想介紹幾款現今經典的XR應用的產品,來加速對目前XR發展的瞭解,或能從中得到一些啟發或靈感。
要看到XR的世界會因為不同硬體媒介而達到截然不同的效果,一個XR他應該要比較偏向AR還是VR的體驗,也跟硬體有很大的關係,否則就會變得只是用平面螢幕在看3D畫面,完全稱不上XR體驗了。
VR要讓你進入一個虛擬的空間,就必須使用頭戴裝置或智慧眼鏡把眼睛遮蔽讓你身歷其境。
AR必須要與現實結合,那就必定要鏡頭拍攝真實世界,那麼除了頭戴裝置、智慧眼鏡,手機也是很好發揮的。
XR體驗也包含身體整體的追蹤,大部分的頭戴裝都是包含頭部跟手部追蹤(包含手指頭的彎曲偵測),除了位置也包含傾斜角度等。次多的是眼部追蹤或臉部追蹤;另外還有額外的裝置可以達到全身追蹤整身的動作,通常是使用裝備第三方的追蹤器在手臂、軀幹、腿部、腳踝等處來達到位置的追蹤,讓使用者可以隨心所欲、自由的控制Avartar(你所控制的角色)甚至實現跳舞。
頭戴裝置通常會內建配手部控制器,大部分的應用都只需追蹤頭部和手部的位置。頭戴裝置主要有分成兩種,PCVR和一體機:
剛剛提到以前只能拿控制器,現今出現內建手部追蹤,應用也更多元化。常見的有
健身系:逼真的拳擊、球類以外,也有滑雪、攀岩等。
音樂系:拿根自家的筷子就能手部追蹤跟著莫札特學指揮交響樂團,指揮的手勢是跟現實一樣的,與其說寓教於樂更像是實現當指揮家的感覺。或是彈奏空氣吉他、演奏空氣伸縮號,就像你想像的,是用手指彈奏或用手擺在相對的位置來演奏。
RPG系:實現詠唱用手丟出火焰球;靠手勢觸發攻擊或防禦;雙手擺出射箭的姿勢當個弓箭手;或是甩手必來伐樹、採礦來採集資源等。
這些在XR世界互動的感覺跟只透過平面的螢幕互動是完全不同維度的,因此應用程式所需要照顧到的層面也是完全不同的!在開始之前一定知道
舒適性和沉浸感
XR最大的敵人就是VR暈或是3D暈(Motion Sickness),要達成避免3D暈必須要高幀率(FPS)和低延遲,才能達成轉頭時,畫面必須「立即」跟上,否則任何可被感知的延遲都會造成大腦的視覺和前庭感覺系統衝突而令人不適,同時也比須保持解析度在一定程度,不能過於過於模糊,否則視覺會處於持續解析的狀態非常容易疲勞。
互動直覺且易用
優秀的XR產品能讓使用著本能性的與之互動。使用者靠近可互動的物品時,該物品會高亮或周圍發光顯示,可以”伸手”去按按鈕或用手”抓取”物品,且拿取的時候會有合適的重力、聲音等反饋實感,以符合現實世界的物理操作和反饋。UI/UX更是需要考量跟環境如何相容,在XR常見的會是顯示在玩家的手腕上、告示板上。
在了解了現今目前軟硬體該有的考量後,如果想做一個跨支援跨裝置且能用web開發經驗的AR作品。
該怎麼選擇技術來實現這件事呢?